#evolutionary search

3 篇

ESPO: Error-Structured Prompt Optimization via Diagnose, Diversify, and Stabilize

ESPO：通过错误结构化诊断、多样化与稳定化优化提示

🧭 自动提示优化 · 错误结构化搜索

AWS Agentic AI

将提示优化分解为诊断错误模式、多样化候选、自举稳定性选择，平均准确率超 GEPA 3.76pp且提示缩短47%

📌 工作参考价值（4 点）

避免 prompt bloat：在自动迭代优化 prompt 时引入长度惩罚或硬约束，防止规则不断追加导致线上推理变慢、成本升高；短 prompt 在电商文案/推荐理由生成等高频场景可显著节省 token。
利用错误聚类替代逐轮反思：先对 bad case 做结构化聚类（如意图混淆、属性抽取错误、价格理解等），再针对每个 cluster 生成候选修复策略，比每轮追加零散规则更高效，适合推荐系统 query 改写和 Agent 指令调优。
候选生成需要互补策略与 bootstrap stability selection 结合：不要只追求多样性；用 bootstrap 重采样评估稳定性来筛选候选，可防止过拟合训练集，在 AB 测试中挑选更鲁棒的 prompt/策略。
跨模型迁移验证：ESPO 的优化结果在不同学生模型上均保持最佳平均准确率，说明在电商多模型路由或模型升级时，针对弱模型的 prompt 优化可以更稳定地迁移。

LLM | 2026-09-03 | cs.CL | score 7/10

双向进化搜索：让语言模型突破分布边界自我改进

🧭 双向进化搜索 · 自改进采样 ★ 深度解读

Harvard University · MIT

提出双向进化搜索框架，用进化算子突破模型候选分布局限，通过后向目标分解提供密集反馈

📌 工作参考价值（4 点）

进化算子重组轨迹，逃离模型概率高熵壳：在前向搜索中引入组合、转位、删除、交叉四种算子，将不同候选的部分轨迹拼接/编辑，生成单次自回归不易产生的多样化样本。电商 Agent 的复杂多步推理中，可借鉴这种思路从已有交互日志中合成新候选，提升长尾问题覆盖率。
后向目标分解提供密集验证信号：通过递归拆解任务为可检查子目标（例如多跳 QA 可分成“检索第一跳事实”“验证中间结论”等），为部分完成的轨迹输出细粒度得分。可用在电商多轮对话或 Tool-use Agent 的中间步骤评分，避免稀疏奖励导致训练不稳定。
即插即用的采样替代方案：BES 可替换任何 RL 后训练（如 GRPO）中的 i.i.d. 采样阶段，为困难任务发现高奖励训练样本，使基座模型获得明显提升（如 MuSiQue 上 +3.8%）。电商搜索 Agent 的训练中可直接集成，无需修改原有 RL 算法。
工程实现灵活：进化算子既可直接编辑 token 序列，也可用 LLM 提示实现（本文在代码生成任务中采用后者）；子目标验证器支持规则、代码执行、嵌入相似度或 LLM 评判，易于根据业务场景快速适配。

LLM | 2026-05-26 | HF Daily | score 8/10

优化一切：通用文本参数优化 API

🧭 LLM 驱动的文本优化统一框架 ★ 深度解读

UC Berkeley · MIT

单一 LLM 优化系统横跨六个领域（代码、提示、Agent 架构、调度等）达到 SOTA，首次实现文本优化的通用范式。

📌 工作参考价值（4 点）

用统一的优化 API 迭代业务提示/策略/逻辑：只需提供初始候选文本、评分函数和可选诊断信息，即可让 LLM 自动优化。对于电商推荐中的排序规则、Agent 的决策逻辑、提示工程都可用同一套代码调用 optimize_anything，避免为每个任务写独立搜索逻辑。
引入“侧信息 (Side Information)”加速优化：在评分函数中返回编译器错误、运行日志、渲染图像等诊断反馈，比只给一个标量分数能快 4-6 倍收敛，最终效果也更好。在生成式推荐中，可以设计评估器输出点击率的同时，额外给出哪些特征未生效、哪一步解码失败等，显著提升优化效率。
多任务搜索：跨问题共享优化模式：如果有一批相关任务（如多个 CUDA 核、多个推荐场景的 prompt），用 multi-task 模式共享帕累托前沿，比单独优化每个任务效果更好，尤其适合团队维护多个业务线的 prompt 或 Agent 配置。
帕累托精英保留避免陷入局部最优：按细粒度指标（如每个测试样本的得分）建立帕累托前沿，保留不同专长的候选，避免仅凭平均分剪枝导致模式丢失。在推荐系统中，可保留点击率高但转化率低的候选与转化率高但点击率低的候选，在后续迭代中重组出更优组合。

MultiAgent | 2026-05-18 | HF Daily | score 8/10